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摘 要 :在 很 多 智能 系统 的 参数 建 模 时 , 用 户 往往 面 对 建 模样 本 稀少 的 困境 。 针 对 在 小 数据 集 条 件 下 贝 叶 斯 网 络 (BN) 
参数 建 模 的 问题 ， 提 出 了 一 种 约束 数据 最 大 粒 BN 参数 学 习 算 法 (CDME)。 首 先 利 用 小 数据 集 估算 BN 参数 ， 随 后 把 
定性 的 专家 经 验 转换 为 不 等 式 约束 ,并 利用 Bootstrap 算法 生成 满足 约束 的 一 组 参数 候选 集 ， 再 根据 信息 最 大 进 行 加 
权 计 算出 BN 参数 。 实 验 结果 表明 ， 当 数据 量 充分 时 ，CDME 参数 学 习 算 法 与 经 典 的 MLE 算法 的 学 习 精 度 近似 ， 表 
明了 算法 的 正确 性 ; 在 小 数据 集 条 件 下 ， 利 用 CDME 算法 ， 可 以 对 BN 进行 参数 建 模 ， 学 习 精 度 优 于 MLE 算法 和 
QMAP 算法 。CDME 算法 在 实际 故障 诊断 样本 数据 相对 稀缺 的 条 件 下 ， 获 取 了 诊断 BN 模型 参数 ， 在 此 基础 上 完成 的 
诊断 推理 结果 也 印证 了 算法 的 有 效 性 ， 为 小 数据 集 条 件 下 的 参数 建 模 提 供 了 一 条 新 途径 。 
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CD Extension parameters learning for BN based on constraints and maximum entropy model 


Guo Wengiang', Li Ran, Hou Yongyan, Gao Wenqiang 
(School of Electrical & Information Engineering Shaanxi University of Science & Technology, Xi"an 710021 China) 


Abstract: While the intelligent systems need parameter modeling, users often face the dilemma of scarce modeling samples. In 


this paper, a BN parameter learning method-constrained data maximum entropy (CDME) algorithm is proposed for the modeling 


of BN parameters under the small data sets. In the case of estimating BN parameters by using small data sets, the qualitative 


expert knowledge is transformed into inequality constraints for the sake of generating candidate parameter sets by Bootstrap 
algorithm. Then the BN parameters are estimated in the light of the maximum entropy principle. The experimental results show 
that CDME algorithm learning effects are similar to the classical MLE algorithm when the modeling data size is sufficient. 
However, when the data Size is limited, the parameters of BN can be modeled by using the CDME, and the learnt accuracy is 
superior to MLE or QMAP algorithm. CDME is also applied to a real fault diagnosis while the data set is relatively scarce. The 
results of the diagnosis reasoning demonstrate that the presented parameter learning approach is effective. The CDME parameter 
learning algorithm provides a new modeling way for BN parameter under the small data sets. 


Key Words: Bayesian Network; small dataset; parameter learning; maximum entropy model 


估计 (Maximum Likelihood Estimation, MLE) 算 法， 是 目前 基 

于 数据 较为 有 效 的 学 习 方法 之 一 。 但 在 实际 中 ， 从 某 些 系统 中 

贝 叶 斯 网 络 (Bayesian network，BN ) 在 解决 复杂 系统 的 不 获取 大 量 的 有 效 样 本 数据 非常 困难 和 昂贵 ， 如 地 震 预 测 、 航 空 

确定 性 和 不 完整 性 问题 凸显 出 强大 的 适应 性 ， 并 且 成 功 应 用 于 发 动机 故障 诊断 系统 中 的 样本 数据 等 ， 这 样 就 导致 所 能 获得 的 

智能 系统 涉及 的 众多 领域 0-3。BN 建 模 是 BN 推理 的 基础 ， 而 系统 特征 数据 相对 较 少 ， 不 能 准确 地 估算 出 BN 中 的 参数 ， 对 

BN 推理 的 结果 也 往往 能 检验 出 建 模 方法 的 有 效 性 。 BN 的 建 模 ”系统 模型 的 推理 产生 影响 ， 甚 至 得 出 与 客观 规律 相 违背 的 推理 

包括 结构 建 模 和 参数 建 模 引 33。 人 们 常常 可 以 根据 领域 专家 的 经 结果 [3]。 

验 获 取 一 些 定性 知识 ， 从 而 完成 BN 结构 建 模 。 而 对 于 BN 的 在 小 数据 集 条 件 下 BN 的 参数 建 模 研究 中 ， 文 献 [9] 利 用 定 
参数 建 模 ， 即 估算 BN 的 参数 问题 ， 专 家 往往 很 难 直接 确定 出 性 约束 提出 了 梯度 下 降 估 计 (gradient-descent estimation, GDE ) 

正确 的 定量 参数 。 在 样本 数据 充足 的 情况 下 ， 经 典 的 最 大 似 然 方法 ， 利 用 APN (adaptive probabilistic networks ) 算法 进行 求 
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解 。 文 献 [10] 针 对 定性 影响 约束 提出 了 保 序 回归 估计 (isotonic 
regression estimation, IRE ) 方法 , 利用 保 序 回归 算法 校正 初始 参 
数 使 得 参数 满足 序 约 束 。 文 献 [11] 针 对 规范 性 约束 提出 了 最 小 

能 (Minimum Free Energy, MFE) 估 计 方 法 ,该 方法 首先 将 包 
KL 距离 (Kullback-Leibler, divergence) 和 人 函 数 的 最 小 自 
能 函数 作为 目标 优化 函数 ， 然 后 ， 通 过 拉 格 朗 日 乘 子 将 最 小 
自由 能 函数 与 规范 性 约束 结合 起 来 ， 通 过 求 极 值 的 方法 求 取 参 
数 。 文 献 [2] 提 出 了 利用 定性 影响 约束 进行 BN 参数 学 习 的 约束 
最 大 期 望 (constrained expectation maximum, CEM) 方 法 ,GDE、 
IRE、MFE、CEM 方法 的 约束 类 型 单一 ， 约 束 对 参数 的 约束 力 
较 小 ， 只 能 将 参数 限制 到 较为 宽泛 的 可 行 域 内 ， 导 致 参数 学 习 
结果 不 够 精确 。 文 献 [8] 提 出 了 基于 双重 约束 的 参数 估计 (dual 
constrained estimation, DCE ) 方法 ， 利 用 Beta 分 布 拟 合 和 保 序 
可 归 的 方法 进行 小 数据 集 条 件 下 参数 的 双重 约束 学 习 。 该 算法 
适用 于 BN 模型 节点 均 为 二 值 的 情况 。 而 现实 系统 中 ， 如 故障 
诊断 等 多 模式 分 类 问题 ， 其 网 络 节点 状态 往往 是 多 值 的 ， 这 就 
制 了 DCE 算法 的 应 用 。 文 献 [12,13] 提 出 了 约束 最 大 似 然 
(constrained maximum likelihood, CML) 方法 。 该 方法 首先 构 
建 非 单调 性 约束 模型 ， 然 后 ， 将 最 大 灶 函 数 与 非 单 调 性 约束 结 
合 构造 凸 优化 问题 然后 求解 。 文 献 [14] 提 出 了 定性 最 大 后 验 概 
率 (qualitative maximum a posterior, QMAP ) 方法 ， 然 后 ， 利 用 
贝 叶 斯 估计 方法 将 真实 统计 数据 和 虚拟 小 数据 相 结合 学 习 得 到 
BN 参数 。 

分 析 可 以 发 现 ， CML 方法 对 参数 约束 类 型 没有 特殊 要 求 ， 
对 参数 约束 利用 率 较 低 ， 学 习 效 果 往 往 比 QMAP 逊色 0 。 
QMAP 方 法 是 目前 在 小 数据 集 条 件 下 一 种 较为 行 之 有 效 的 新 方 
法 外。QMAP 方法 利用 定性 约束 通过 拒绝 一 接受 算法 对 满足 约 
束 的 参数 集合 进行 虚拟 采样 ， 而 拒绝 一 接受 算法 是 建立 在 概率 
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P(X,|P(X,) 的 第 概 率 值 表示 为 
0,. = P(X,=K|P(X,)= 记 即 是 节点 XX, 的 一 个 参数 ， 其 中 ， 
0, e090,1<i<n,1<j<gq,1<k<r。 表示 X, 的 状态 数量 ， 
4, 表示 X, 父 节点 组 合 P(X,) 的 状态 数量 。 显然 , 节点 X, 一 共有 
5x9d 个 参数 ， 它 们 构成 了 一 个 5x9 维 的 矩阵 ， 称 之 为 节点 已 
的 条 件 概率 分 布 表 (condition probability table, CPT ) 。 
1.1 最 大 似 然 估 计算 法 

最 大 似 然 估计 (MLE) 表示 为 


Llese,1e,)= I Lhe) O) 


其 中 : (e,e,e,) 是 样本 集 ，0 表示 该 分 布 的 参数 ，J(e) 为 其 
概率 密度 函数 趾 。 特 别 是 在 实际 中 ， 可 以 用 式 (3) 估计 每 个 参 
数 : 


OO 一 二 下 ( 3) 


其 中 : P(X,) 表示 在 样本 DD 中 ， 父 节点 也 (X,) 取 第 j 个 组 合 状 


态 的 频数 ， 即 N, = > N， 。 


MLE 常用 于 较 充 分 数据 集 下 BN 参数 估算 ， 但 式 〈3) 有 
一 个 主要 缺陷 是 不 能 估计 Ni =0 时 的 多 ”。 而 当 训 练 集 有 限时 ， 
观察 值 为 0 的 现象 时 常 发 生 ， 尤 其 是 数据 集 规模 较 小 时 。 为 了 
解决 这 个 问题 ， 这 里 对 式 (3) 做 了 一 点 修正 如 式 〈4) 所 示 。 


, NN,+eé 
-— 访 


广 


(4) 


N, +ue 


其 中 : 4=7xg; 8 为 一 个 接近 于 零 但 不 为 零 的 常数 。 为 满足 实 
验 要 求 ， 式 (4) 中 8 取 0.00001。 
1.2 常见 的 约束 集合 

在 现实 世界 中 ， 领 域 专家 虽然 很 难 给 出 BN 模型 参数 的 定 


分 布 函数 估计 的 基础 上 ， 在 实际 中 BN 参数 的 概率 分 布 函数 往 


量 表达 ,但 却 往往 可 以 提供 节点 间 的 定性 信息 ， 即 约束 信息 。 式 


往 很 难 估计 ， 因 而 QMAP 方法 的 实用 性 也 受到 挑战 。 

为 了 解决 小 数据 集 条 件 下 BN 参数 的 估计 问题 ， 本 文 提 出 
了 一 种 约束 数据 最 大 录 〈constrained data maximum entropy, 
CDME ) 的 参数 学 习 算法 。 它 把 小 数据 集 参数 学 习 结果 与 利用 
专家 经 验 约束 扩展 生成 的 参数 候选 集 有 机 结合 起 来 ， 在 信息 最 
大 焙 的 基础 上 估计 出 BN 的 参数 。 


1 ”BN 参数 学 习 背 景 知识 


贝 叶 斯 网 络 参 数学 习 是 在 结构 已 知 的 情况 下 ， 通 过 样本 数 
据 和 先 验 知识 ， 获 得 所 有 网 络 节点 的 条 件 概率 分 布 的 过 程 。BN 
有 向 无 环 图 (DAG)G 和 关联 每 个 变量 的 概率 分 布 集合 组 成 。 
式 (1) 为 BN 的 联合 概率 分 布 口 。 


POX,, XX,) = [P| PX (1) 


其 中 : P(X,) 表示 G 中 X, 的 父 节 点 集合 条 件 概率 分 布 ， 
P(X,|P(X,)) 表示 包含 在 G 中 给 定 父 节点 值 的 变量 的 每 个 值 的 


(5) 反映 了 专家 先 验 知识 (8 和 G)、 数 据 (D) 与 BN 参数 之 
间 的 联系 0 。 
log P(0|G,D,0)=1lo0g(D|O,0) +log(G|0,0)-C (5) 
其 中 : 9 是 学 习 得 到 的 BN 参数 ，G 是 BN 结构 ，D 是 样本 数 
据 ，8 是 通过 专家 经 验 知 识 形成 的 约束 信息 。 
在 BN 中 常见 的 约束 集合 可 由 定性 领域 知识 转换 而 来 。 定 
性 领域 知识 可 以 定义 为 条 件 概 率 上 的 不 同 约束 ， 这 些 约束 可 以 
者 述 成 以 下 约束 形式 03.15: 
a) 范围 约束 (range constraints) 定义 了 BN 中 任意 参数 的 
上 下 界 ，0 <0, <0,<p<1, 
b) 交叉 分 布 约束 (cross-distribution constraints〉 定 义 了 一 


Sh 


对 不 同 条 件 参数 的 相对 关系 。 如 果 两 个 约束 参数 节点 指数 i 和 
状态 值 x， 有 不 同 的 父 节 点 组 合 j， 这 个 约束 就 被 称 为 交叉 分 布 
约束 ， 通 常 由 定性 因果 关系 得 到 


0, S20,vzj. 
c) 内 分 布 约束 (intra-distribution constraints) 定义 了 一 对 
相同 条 件 的 参数 的 相对 关系 。 如 果 约 束 参 数 共 享 节点 指数 i 和 
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父 节 点 组 合 j， 却 有 不 同 的 状态 值 上 则 这 个 约束 被 
约束 ，0, .20,,Vkzk 。 

d) 间 分 布 约束 (inter-distribution constraints ) 
相同 条 件 的 参数 的 相对 关系 。 如 果 两 个 约束 参数 不 
点 指数 i、 父 节点 组 合 j 和 状态 值 5， 这 个 约束 被 称 
束 ，0, <,>0,,Vvizi,jzj, kzk, 


称 为 内 分 布 


定义 了 一 对 
享 任 何 节 
为 间 分 布 约 


e) 公理 约束 。 描述 参考 固定 父 节点 配置 状态 的 


参数 之 间 的 


关系 。 这 意味 着 ， 这 是 一 个 领域 专家 不 需要 提供 且 


约束 ，》 0 =1,0<0, <LVi,jk。 


非常 基本 的 


f) 近似 等 式 约束 。 描 述 任何 两 个 参数 之 间 的 密切 关系 。 为 
了 便于 计算 ， 因 此 可 以 将 其 写 为 
(0, -0% So vizi, jz j,kzk 

g) 添加 协同 约束 。 描述 不 同 分 布下 两 个 参数 之 和 的 比较 关 
系 : Oj + 0, SO +O, Vbk., 

h) 乘积 协同 约束 。 描 述 不 同 分 布下 两 个 参数 的 乘积 之 间 的 
比较 关系 : 0 *0, < *0,.,Visk 。 
1.3 ”最 大 原 理 

最 大 焙 的 基本 思想 是 在 满足 所 有 已 知事 件 的 基础 上 对 未 知 
事件 作 最 客观 均一 的 估计 。 要 从 一 个 允许 的 概率 分 布 集合 C 中 
选择 一 个 模型 ， 选 择 具有 最 大 焙 五 @ 7 的 模型 p, eC ， 其 模型 
的 形式 化 表示 为 09 


p. =argmax H(p) 


=argmax_ >, p(Wp(Y | Dlog p(y|D 


其 中 : C 为 满足 约束 条 件 的 概率 分 布 集合 ，x、y 为 


应 事件 ， 条 件 分 布 PCy|29 的 数学 测量 


本 文选 择 最 大 炉 统计 模型 作为 原始 领域 (BN 


2 ”约束 数据 最 硕 参数 学 习 算法 


本 文 提 
1 所 示 。 


参数 设置 a、L、Q、0=$ 


] 


由 初始 小 \ 样 本 集 根据 对 et) 


| 
并 把 Ox(S) 搬入 多 作 人 0 


利用 Bootstrap 法 随机 生成 
第 (L 一 1) 个 参数 候选 集 


出 的 约 东 数据 最 大 焙 BN 参数 学 习 算 法 的 流程 如 


喇 


ps 结束 
L 
(ry 
N 的 利用 式 “8) 计算 最 终 
上 一 是 否 满 足 约 5 
nt 学 习 参 数 9 
了 
0 ={19 友 IC9).9 本 
ee 六 2 OO 


> | 
L<1?7 


图 1 CDME 算法 流程 图 


CDME 算法 主要 步骤 如 下 : 


Wun 


a) 设 


b) 由 初始 小 样 
把 0.(5) 插 
c) 利 用 Bootstrap[ 


数据 ) 和 目标 领域 (BN 参数 学 习 ) 的 估计 模型 ， 主 
考虑 : 最 大 炉 所 采 
任何 要 求 ， 可 任意 
同时 ， 


的 BN 分 布 参数 对 数据 的 先 验 


| 
组 合 ， 而 不 会 破坏 整个 估计 模型 


它 自 然 地 解决 了 统计 模型 中 参数 平滑 的 问题 ， 


数 应 满足 约束 知识 2, 假设 有 工 条 参数 候选 集 都 满足 约束 知识 ， 


根据 最 大 粹 原理 ， 它 们 有 均等 的 概率 允 近 
此 ， 即 使 目标 领域 中 部 分 特征 未 在 原始 领域 出 现 ， 
识 的 支持 ， 也 能 获得 较 好 的 参数 估算 效果 
1.4 KL 距离 

KL 距离 ,常用 来 衡量 


真实 的 BN 参数 。 因 


丙 个 概率 分 布 的 距离 。 本 文 用 


于 约束 知 


KL 距 


离 来 衡量 BN 参数 估算 方法 的 精度 。 如 式 〈7) 所 示 07。 


KL010) = 六 六 om 人 


其 中 : 
计 的 BN 参数 越 接近 真实 BN 参数 ，KL 值 越 小 。 


0 代表 真实 参数 ， 0 代表 估算 得 到 的 参数 。 


(7) 
显然 ， 估 


其 中 :参数 闻 0 是 


参数 候选 集 的 和 ，0.(5) 是 | 
参数 ，a 是 权重 

(b》 否 则 ， 
注意 到 式 (8) 的 参数 模型 中 ， 当 
E 足 条 件 下 计算 BN 参数 时 ， 
结果 。 因 此 该 参数 模型 是 MLE 算法 
数 模型 的 一 种 特例 。 
根据 定性 约束 生成 的 候选 参数 具 
另外 ， 当 


据 量 时 


大 焙 原 则 。 


:参数 权 


入 参数 集 0; 


因子 。 
跳 转 至 步 c)。 


的 泛 化 


初始 小 样本 集 


(6) 中) 判断 第 (ZL-1) 个 参数 候选 集 2 (Q) 是 
满足 ， 则 把 第 (Z-1) 个 参数 候选 集 
随机 变量 对 0， 并 令 L=L-1; 否则 ， 返 回 第 三 步 。 
条 件 烛 供 。 e) 判 断 世 是否 小 于 1。 
知识 和 样本 (a) 若是 ， 输 出 ， 
要 基于 以 下 炉 原则 ， 按 式 (8) 进行 计算 得 
分 布 也 不 作 
的 一 致 性 ; Si 
即 BN 参 


同样 的 权重 ， 


因子 a(0<a<1); 备 选 参数 集 个 数 工 、 约 束 
集合 2， 令 中 间 变 量 参数 集 0 为 空 集 ; 
本 集 根据 式 (4) 计算 出 一 组 初始 参数 0,(5) ， 


5 方法 生成 第 (ZL-1) 个 参数 候选 集 0 (9) 。 
是 否 满足 约束 8。 如 
EE 0 (Q) 插入 中 间 变 量 参数 集 


将 备 选 参数 集 0 参数 取出 ， 根 据 最 大 
到 最 终 的 学 习 参 数 0 。 


(8) 


是 通过 参数 扩展 得 到 的 ( 工 一 1) 个 满足 约束 的 


计算 出 的 一 组 初始 


a=0，Z=1 时 ， 在 样本 数 
上 式 的 形式 实际 是 MLE 的 
E 式 ;MLE 是 该 参 


体现 了 最 


取 较 小 值 时 ， 样 


中 的 决定 性 作 ] 


响 会 减少 ; 


反之 ， 当 w 


本 数据 如 
会 凸显 ， 而 定性 约束 的 专家 经 验 对 学 习 结果 影 
取 较 大 值 时 ， 定 性 约束 的 专家 经 验 对 学 


参数 学 习 结果 
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习 结 果 影 响 会 增 大 ， 可 补偿 样本 数据 量 少 对 学 习 结果 的 影响 。 
约束 数据 最 大 炉 BN 参数 学 习 算法 拟定 了 一 个 用 约束 信息 

和 小 数据 集 估算 BN 参数 的 框架 。 它 可 以 将 样本 数据 和 专家 定 

性 经 验 等 不 同 源 的 信息 集中 到 一 个 框架 下 进行 综合 考虑 ， 在 解 

决 BN 参数 问题 时 具有 良好 的 形式 上 的 一 致 性 。 


3 ”实验 与 分 析 


本 文 进行 了 两 组 实验 分 析 来 验证 本 文 方法 的 有 效 性 。 第 一 


组 实验 引用 经 典 贝 叶 斯 网 络 模型 草 


Nl 


坪 湿润 模型 9 在 模拟 数据 
] MLE 方法 、QMAP 方法 和 本 文 方法 进行 BN 参数 
依 断 数据 


用 本 文 


采 | 


本 文 所 有 实验 所 用 PC 配置 
器 ，6G 内 存 ， 程 序 通过 MATLAB2014a 编程 完 


下 分 别 采 | 

学 习 对 比 研究 ;， 第 二 组 实验 是 在 真实 故障 诊 

方法 进行 BN 参数 学 习 及 推理 诊断 ， 进 一 步 验 证 本 文 所 提 BN 
参数 学 习 方 法 的 优越 性 及 实用 性 。 

为 : 2GHz 处 理 

成 。 

3.1 模拟 数据 BN 参数 建 模 实验 


草坪 湿润 模型 是 验证 


2 为 该 BN 模型 的 结构 图 。 


BN 学 习 算 法 的 经 典 


实验 模型 之 一 。 


酒水 S 


草坪 湿润 W 


图 2 


草坪 


图 中 该 网 络 共有 
对 W 节点 进行 参数 学 习 。 
3.1.1 实验 设置 


4 个 节点 ， 


参数 权重 因子 a 取 0.3， 备 选 参数 集 个 数 工 为 500, 参数 事 
件 集合 如 表 1 所 示 , 对 节点 W 中 的 参数 进行 了 编 
取 值 “1” 表 示 事 件 为 “ 假 ”,“2” 表 示 事 件 为 ee 


数 P(WIS,R) 所 满足 的 约束 集合 2。 


湿润 BN 模型 


分 别 是 : C、S、R、W 节点 ， 


其 中 事 


™ 


人 
为 参 


表 1 参数 事件 集合 
参数 编号 事 们 
P1 P(W=1|S=1,R=1) 
P2 P(W=1|S=1,R=2) 
P3 P(W=1|S=2,R=1) 
P4 P(W=1|S=2,R=2) 
P5 P(W=2|S=1,R=1) 
P6 P(W=2|S=1,R=2) 
P7 P(W=2|S=2,R=1) 
P8 P(W=2|S=2,R=2) 


Ea 
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表 2 参数 P(WIS,R) 所 满足 的 约束 集合 


约束 编号 ”约束 条 件 ”约束 编号 ”约束 条 件 
Cl P1>P5 C5 P7>P3 
C2 P8>P5 C6 P6>P5 
C3 P8>P4 CY P6>P2 
C4 P8>P7 C8 P7>P5 
C9 P8>P6 和 / 

在 表 2 中 ,P1>P5 表示 在 喷灌 机 (S)* 没 有 喷 水 且 天 气 (R) 
没有 下 雨 ” 这 一 条 件 下 , 草坪 事件 W 为 “不 湿 ” 的 概率 大 于 “ 草 
地 湿 ” 的 概率 ， 本 文 将 其 称 为 约束 条 件 “C1”， 以 此 类 推 形成 其 
他 8 个 条 件 。 很 显然 ， 上 述 约束 集合 是 符合 大 众 的 认 知 ， 是 能 
够 被 领域 专家 所 欣然 接受 的 。 

3.1.2 实验 结果 分 析 

本 文 将 在 约束 给 定 的 情况 下 ， 给 出 不 同样 本 数量 下 的 KL 
距离 对 比 ，KL 距离 通过 式 (7) 计算 得 到 。 为 了 显示 方便 ， 本 
文 对 KL 距离 做 了 对 数 处 理 ， 形 成 相应 的 分 贝 值 (dB )， 以 此 来 
衡量 学 习 方法 的 学 习 精度 。 

在 样本 数量 为 35 组 的 条 件 下 ， 分 别 用 MLE 、QMAP、 和 


CDME 方法 学 习 W 节点 参数 。 医 


区 


3 所 示 为 三 种 方法 学 习 15 次 


得 到 的 估计 参数 与 真实 参数 间 KL 距离 取 平 均值 的 对 比 情况 。 


图 


4 所 示 为 相应 的 KL 距离 的 盒 形 图 。 
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图 4 1~35 组 样本 数量 下 不 同学 习 算 法 KL 距离 盒 形 


图 


加 3 ”1~35 组 样本 数量 下 W 节点 三 种 方法 KL 距离 对 比 


对 比 
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图 5 1~300 组 样本 数量 下 W 节点 三 种 方法 KL 距离 对 比 


在 样本 数量 相对 充足 时 ， 实 验 中 取 300 组 样本 ， 用 三 种 方 
法 学 习 W 节点 参数 的 KL 距离 对 比如 图 5 所 示 。 
通过 BN 参数 学 习 对 比 实验 结果 可 以 发 现 : 在 小 数据 样本 
下 ，MLE 方法 KL 距离 较 大 ，QMAP 方法 和 CDME 方法 
明显 优势 , 且 CDME 学 习 精 度 略 高 于 QMAP; 随 着 样本 数 
的 不 断 增 加 ，MLE 方法 KL 距离 值 逐 渐 减 小 ， 并 且 在 样本 数 
分 别 等 于 30 和 31 时 其 KL 距离 与 QMAP 方法 和 CDME 方 
去 的 KL 距离 相交 。 但 QMAP 方法 的 KL 距离 下 降 趋 势 不 明显 。 
与 QMAP 不 同 ，CDME 方法 随 着 样本 数量 增加 ，KL 距离 总 体 
呈 一 定 的 下 降 趋 势 。 

分 析 可 知 ，CDME 方法 在 小 数据 集 条 件 下 ， 可 充分 利用 参 
数 间 的 约束 条 件 , 估算 出 的 BN 参数 在 精度 方面 较 MLE、QMAP 
方法 更 具 优良 的 性 能 ; 在 样本 数量 充足 时 本 文 方法 依然 可 行 ， 
并 能 充分 利用 获取 的 数据 集中 蕴藏 的 信息 ， 补 偿 BN 建 模 的 不 
确定 性 ， 不 断 修正 、 提 高 学 习 参 数 的 精度 。 
3.2 ”真实 数据 下 BN 参数 建 模 及 故障 诊断 实验 

本 实验 所 用 的 轴承 故障 诊断 模型 和 469 条 特征 数据 集 均 出 
自 文献 [20] 。 实 验 原始 数据 源 自 美国 
University 轴承 故障 模拟 实验 室 , 他 们 用 破坏 性 实验 获取 了 丰富 
的 典型 故障 类 型 的 监测 数据 。 而 实际 生产 过 程 中 ， 人 们 能 获取 
的 设备 故障 数据 往往 有 限 。 为 此 ， 本 文 分 别 尝试 在 小 数据 (35 
组 ) 和 充足 数据 (300 组 ) 条 件 下 ， 利 用 CDME 算法 进行 BN 
参数 学 习 ， 然 后 在 此 基础 上 ， 利 用 后 169 组 特征 数据 集 进 行 推 
里 诊断 实验 ,验证 CDME 算法 的 有 效 性 。 轴 承 故 障 诊断 BN 模 
型 结构 如 图 6 所 示 。 
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图 6 轴承 故障 诊断 模型 


图 6 中 该 BN 模型 共有 9 个 节点 , 1 个 父 节 点 ,8 个子 节点 
代表 8 个 特征 向 量 Do~D7。 父 节点 有 四 种 状态 分 别 为 ， 正常 状 
态 、 内 图 故障 、 外 圈 故 障 和 滚动 体 故 障 。 它 们 分 别 对 应 BN 诊 
断 模 型 的 四 种 网 络 诊断 输出 , 诊断 信和 度 为 y=0.70。 为 了 对 轴承 
故障 进行 诊断 ， 先 通过 领域 专家 的 经 验 完成 了 BN 模型 的 结构 


Nn : 
郭 文 强 ， 等 : 约束 条 件 下 BN 参数 最 大 粒 模 型 扩展 学 习 算 ; 


建 模 。 其 次 ， 对 故障 数据 利用 特征 提取 函数 并 离散 化 后 得 到 特 
征 向 量 , 然后 采取 CDME 方法 进行 故障 诊断 BN 参数 建 模 ， 得 
到 故障 诊断 推理 所 需 的 BN 模型 。 
3.2.1 实验 参数 设置 
备用 参数 集 个 数 工 设 为 500;， 参数 约 束 集 8 根据 专家 经 验 
得 到 8 条 ; a 取 0.3。BN 推理 选用 经 典 的 联合 树 算法 。 
3.2.2 故障 诊断 推理 结果 对 比 
表 3 和 表 4 是 分 别 利用 35 组 、300 组 特征 数据 建 模 ,然后 
使 用 169 组 特征 数据 诊断 推理 结果 。 


表 3 35 组 数据 下 CDME 学 习 方法 推理 结果 


状态 类 型 ” 测试 个 数 ” 正 判 个 数 。” 正 判 率 
正常 状态 169 169 100% 
A 圈 故 障 169 169 100% 

滚动 体 故 障 169 154 91.12% 

外 图 故障 169 139 82.25% 


表 4 300 组 数据 下 CDME 学 习 方法 推理 结果 


状态 类 型 ” 测试 个 数 。” 正 判 个 数 。” ” 正 判 率 
正常 状态 169 169 100% 
A 圈 故 障 169 169 100% 
滚动 体 故 障 169 162 95.86% 
外 圈 故 障 169 157 92.90% 


实验 结果 表明 : 在 小 数据 集 条 件 下 , 用 CDME 算法 建 模 之 


后 进行 推理 ， 在 整体 上 其 正 判 率 较 高 ， 推 力 能 力 较 好 《〈 仅 在 推 
断 外 圈 故 障 时 其 正 判 率 略 低 于 其 他 状态 )。 由 此 也 进一步 说 明 用 


CDME 算法 在 小 数据 集 条 件 下 进行 参数 建 模 的 有 效 性 。 在 样本 
数量 较 充足 时 ，CDME 算法 可 利用 数据 集 信息 修正 BN 学 习 参 
数 ， 提 高 了 BN 模型 的 学 习 精 度 。 


4 ”结束 语 


本 文 提出 的 CDME 算法 利用 小 数据 集 估算 BN 参数 的 同 
时 ,把 定性 的 专家 经 验 转换 为 不 等 式 约束 , 利用 Bootstrap 算法 
生成 满足 约束 的 参数 候选 集 ， 再 根据 信息 最 大 焙 原 则 计算 出 
BN 参数 。 实 验 表明 : 本文 所 提 的 CDME 方法 在 小 数据 集 下 学 
习 BN 的 参数 具有 一 定 的 有 效 性 和 优越 性 。 在 故障 诊断 建 模 方 
面 的 应 用 ， 诊 断 推理 结果 印证 了 算法 的 实用 性 。 在 样本 数量 充 
足 时 本 文 算法 依然 可 行 ， 并 能 充分 利用 获取 的 数据 集中 蕴藏 的 
信息 ， 消 减 BN 建 模 中 的 不 确定 性 ， 不 断 修正 、 提 高 学 习 参数 
的 精度 。 本文 研究 的 CDME 算法 在 实际 智能 系统 建 模 数据 稀缺 
的 情况 下 ， 具 有 较 好 的 实用 前 景 ， 为 小 数据 集 条 件 下 的 BN 参 
数 建 模 提供 了 一 种 新 途径 。 
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